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(57) Die Erfindung betrifft ein Verfahren zur Lastver- 
teilung in einem Realzeit-Multiprozessorsystem und ein 
Multiprozessorsystem, wobei auf jedem Prozessor eine 
Verteilquote gefuhrt wird, die den Anteil der verteilbaren 
Last, der tatsachlich verteilt werden soil, festsetzt. Die 
Verteilquote wird in Zeitintervallen neu bestimmt. Die 
einzige Information, die jedes Zeitintervall von den an- 
deren Prozessoren benotigt wird, sind Lastwertindika- 



toren, die von einer geschatzten Last abhangen. Zu- 
satzlich werden Wahrscheinlichkeiten gefuhrt, welche 
angeben, wie bei Lastverteilung Last von einem auf die 
anderen Prozessoren ubertragen wird. AnschlieBend 
verteilt jeder Prozessor anhand seiner Verteilquote und 
seiner Lastverteilungsfaktoren seine verteilbare Last an 
andere Prozessoren, wenn seine Verteilquote einen 
vorgegebenen Wert uberschreitet. 
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Beschreibung 



0001] Die Erfmdung betrifft ein Verfahren zur Lastverteilung in einem Multiprozessorsystem, insbesondere in einem 
Mu tjprozessorsys em e-nes Kommunikationssystems, bei dam anfa.lende Aufgaben von mehreren Prozessoren^p! 
iTni^ " n) r T f ' tbedin 9 un 9 en ^gearbeitet warden konnen und ein Multiprozessorsystem, insbesondere 
emes Kommunikationssystems, mit einem Lastverteilungsmechanismus 

^nL!/!^" 1 ^^ Verfah r Lastverteilun 9 in einem Multiprozessorsystem, insbesondere in einem Multipro- 
^° S S : ,? Komr " unikat ' on ^tems, ist beispielsweise aus der Europaischen Patentanmeldung EP 0 645 
^ me ' der,n bekannt Diese Schrift offenbart ein Verfahren zum Lastenausgleich in einem Multiprozessor- 
system, insbesondere em Mutt.prozessorsystem eines Kommunikationssystems, bei dem anfallende Aufgaben von 
men eren Prozessoren unter Realzeitbedingungen abgearbeitet werden konnen, wobei zur Durchfuhrung des Last- 
ausgleiches allgeme.n die folgenden Verfahrensschritte genannt sind: 

- jeder Prozessor ermittelt seinen Lastzustand in Form einer quantifizierten GroGe 

- jedem Prozessor werden die Lastzustande der anderen Prozessoren innerhalb eines Zeitrasters mitgeteilt 

" K!- °f S , S ° r 9 i bt ln Ab ^ n ^ keit vom Oberschreiten einer bestimmten GroBe seines Lastzustandes und in 
Abhangigkeit yon den Lastzustanden der ubrigen Prozessoren zumindest einen Tail der bei ihm anfallenden Auf- 
gaben an die ubrigen Prozessoren ab, und 

- die abgegebenen Aufgaben werden entsprechend den Lastzustanden der ubrigen Prozessoren auf diese aufge- 

[0003] Im Ausfuhrungsbeispiel wird das Verfahren dahingehend konkretisiert, daB im Betrieb standig und vor dem 
Einstieg ,n die Lastverteilung, die hier erst ab dem Erreichen einer bestimmten Uberlast beginnt, Verteilungsquoten 
Lauren "* *" 6inZelnen Pr ° ZeSSOren im Fa " der Uberlast an ^ere Prozessoren ihre SbLre 

[0004] Ist das System dauerhaft ungleichmaBig ausgelastet, so wird die Last erst bei Uberlast eines Oder mehrerer 

lTr e M , 9 ! h , taber Unn6ti9e Lastabwehr einher. Die Reduktion der Uberlastschwelle auf einen nied- 
rigeren Wert f uhrt zu ke.nem befr.ed,genden Ergebnis, weil dann unnotig viel Last verteilt wird und es zu Schwingungs- 
zustanden kommen kann. Diese Situation ergibt sich aus der dort getroffenen Annahme, daB die Uberlast Oder die 
ungleichmaBige Belastung von kurzer Dauer ist. uoenasi ooer aie 

Es ist daher Aufgabe der Erfindung, ein verbessertes Lastverteilungsverfahren fur ein Multiprozessorsystem anzuqe- 
ben, welches rechtzeitig und "weich" einsetzt und dadurch dauerhafte Schieflastzustande im Lastangebot ohne Last- 
fnn^' r alt ' 9t AuBerdem so " auch ein entsprechendes Multiprozessorsystem angegeben werden 
5£JLh h 93b f " ird einerseits durch ein Verfan ™ mit den Verfahrensschritten des ersten Verfahrensanspru- 
S£J Demlm 8 tT H. ™ M fV™° s s™y^™ "« den Merkmalen des ersten Vorrichtungsanspruches gelost. 
[0006] DemgemaB schlagen die Erfinder em Verfahren zur Lastverteilung in einem Multiprozessorsystem, insbeson- 
SIITmp MU ' pr ° Z 0 eSSor f stem aines Kommunikationssystems, bei dem anfallende Aufgaben von mehreren Pro- 
T^n % v i (m ' \T UntGr Realzeitbedin 9ungen abgearbeitet werden konnen, mit folgenden iterativen und 

sich in Zertintervallen CI wiederholenden Verfahrensschritten vor: 

" Sh^T'T T] e / mi " e V seinen tatsachlichen Lastzustand Y, - bestimmt gegebenenfalls direkt hieraus einen 
mehrwert gen Laststatus (load state) MPIs f - und schatzt in Abhangigkeit von zuvor mitgeteilten Verteilungsquoten 
q f (alt) (mit qpan andere Prozessoren MP k nach Moglichkeit zu verteilender Lastanteil) und dem typischerweise 
verte.lbaren Anteil V einer typischen Aufgabe seine angebotene Last A, die zu einem mehrwertigen Lastindikati- 
onswert (Balancing Indicator) MPbij fuhrt, 

- jeder Prozessor MP, teilt seinen Lastindikationswert MPbi, den jeweils anderen Prozessoren MP k (mit k=l 2 i- 
1,i+1,... n) mrttelbar oder unmittelbar mit, k 

* Pr ° Z f S °^oK Pi ^ Stimmt S6ine Lastverteilu "9^ktoren Pij (mit j=l ,2 n) in Abhangigkeit von den Lastindi- 

kationswerten MPbi k dieser anderen Prozessoren MP k , 

" iflv 02 ?^ MPi beS,immt S6ine Verteilungsquote q j( neu) in Abhangigkeit von seinem tatsachlichen Lastzu- 
stand Yj und den Lastverteilungsfaktoren 

- jeder Prozessor M Pj verteilt anhand seiner Quote q- t und seiner Lastverteilungsfaktoren Pii seine verteilbare Last 
an andere Prozessoren MP k , wenn seine Verteilungsquote q j( neu) einen vorgegebenen Wert q v uberschreitet. 

z°u 0 ve 7 r l wenden AbSCh§tZUn9 angebotenen Last A ' eines Pressors MP, ist es vorteilhaft, die Formel A,:=Y/(1-q,V) 

SSSkr^wT Sine Unterteilun 9 des mehrwertigen Lastindikationswertes (balancing indicator) MPbt in 

dre, diskrete Werte, wobe. vorzugswe.se die folgende Abgrenzung mit Schwellenwerten gilt: NORMAL fur MPbij, wenn 
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die Prozessorauslastung 0 bis 70% betragt, HIGH fOr MPbij, wenn die Prozessorauslastung 70% bis 85% betragt, und 
OVERLOAD fur MPbij, wenn die Prozessorauslastung uber85% betragt. 

[0009] Vorteilhaft ist es auch, wenn eine Hysterese bei Lastzustandswechsel aufgrund von Schwellenwertuberschrei- 
tung oder Schwellenwertunterschreitung bei steigender oder fallender Prozessorauslastung eingefuhrt wird. 
[0010] AuGerdem kann es vorteilhaft sein, wenn der Lastindikationswert (balancing indicator) MPbii bezuglich An- 
derungen einer zeitlichen Hysterese unterliegt und damit eine gewisse Tragheit erfahrt. Als Hysteresegrenze konnen 
vorteilhaft Werte von 1 bis 2 Zeitintervallen CI angenommen werden. 

[0011] Bezuglich des mehrwertigen Laststatus (load state) MPISj wird als besonders bevorzugt die Annahme von 
vier diskreten Werten vorgeschlagen, wobei vorzugsweise angenommen wird: NORMAL fur MPISj wenn die Prozes- 
sorauslastung unter 70% liegt, HIGH fur MPIs j( wenn die Prozessorauslastung 70% bis 85%, OVERLOAD fur MPIs i( 
wenn die Prozessorauslastung uber85% liegt und EXTREME fur MPIs^ wenn dauerhaft der Lastzustand OVERLOAD 
vorherrscht. Auch hier kann es vorteilhaft sein, wenn der Laststatus (load state) MPISj bezuglich Anderungen einer 
Hysterese unterliegt. Als Hysteresegrenze konnen vorteilhaft Werte von 1 bis 2 Zeitintervallen CI angenommen werden. 
[0012] Weitere vorteilhafte Annahmen bei der Durchfuhrung des erfindungsgemaGen Verfahrens sind: der typische 
verteilbare Anteil V einer typischen Aufgabe soil der durchschnittliche oder maximale Anteil sein und als typische 
Bearbeitungszeil einer Aufgabe soli eine durchschnittliche oder maximale Bearbeitungszeit einer Aufgabe angenom- 
men werden. Vorteilhaft kann hierbei der jeweilige Durchschnittswert oder Maximalwert eines Anteils beziehungsweise 
einer Aufgabe auch wahrend der Betriebszeit standig ermittelt und gegebenenfalls als gleitender Wert mitgefuhrt und 
aktualisiert in das Lastverteilungsverfahren ubernommen werden. Gunstig ist es hierbei, wenn die Zeitdauer, uber die 
die gleitenden Werte ermittelt werden, gro3 gegenuber dem Kontrollintervall Ci ist. 

[0013] Besonders vorteilhaft ist es auch, wenn fur den vorgegebenen Wert q v der Verteilungsquote qj, ab dem der 
Prozessor MPi verteilbare Last an andere Prozessoren MP k verteilt, gilt: 0,05<q v <0,3, vorzugsweise O.I^-sO.25, 
vorzugsweise 0^=0,2. 

[0014] Weiterhin kann das erfindungsgemaGe Verfahren besonders vorteilhaft ausgestaltet werden, wenn bei der 
Berechnung der Verteilungsquote q { die folgenden Kriterien erfullt werden: 

■ Pii := 0 

falls MPbij einer mittlere Last entspricht, vorzugsweise MPbij=NORMAL, gilt: p^neu) - pij(alt)+p c1 /n, fur j=1 ,...,n 
und k*j 

falls MPbi| einer hohen Last entspricht, vorzugsweise MPbipHIGH gilt: Pq(neu) = pij(alt)-p c2 /n, fur j=1 ,...,n und i*j 

falls MPbij einer Uberlast entspricht, vorzugsweise MPbij=OVERLOAD, gilt: Pjj(neu) = 0 

wobei vorzugsweise die py q =1 n) mit der Summe p sum der py auf 1 normiert wird und 

als Initialisierungswert beim Beginn der Verteilungsprozesse alle pjj, ausgenommen p H , gleich sind. 

[0015] Als vorteilhafte Zahlenwerte konnen fur die Konstante p c1 0,1<p c1 <0,5, vorzugsweise 0,2<p c1 <0,3 und vor- 
zugsweise p c1 =0,25 angenommen werden. Ebenso ist es vorteilhaft fur die Konstante p^ 0,1 <p c2 <0,5, vorzugsweise 
0,2<p c2 <0,3 : vorzugsweise p^O^S zu setzen. Auch kann der Initialisierungswert der p-,j beim Beginn der Verteilungs- 
prozesse gleich (n-1)' 1 gesetzt werden. 

[0016] Weiterhin kann das erfindungsgemaGe Verfahren besonders vorteilhaft ausgestaltet werden, wenn bei der 
Berechnung der Lastindikat ions werte MPbij die folgenden Kriterien erfullt werden: 

falls MPiSj der hochsten Last entspricht, vorzugsweise MPIs^EXTREME, girt: qj(neu)=q c1 , 

- falls p sum > 1 gilt: 

falls der tatsachliche Lastzustand Y { grdGer als ein vorgegebener Wert threshold^, ist, wird qj vergroGert mit q^min 

falls der tatsachliche Lastzustand Yj kleiner als ein vorgegebene Wert threshold N ist, wird qj verkleinert mit qj=max 
{qi" c q2' c q3K mit 0< c q 3<q v . vorzugsweise c q3 =0,1, 

andernfalls (threshold N < Y { < threshold H ) erhalt qi einen Zwischenwert zwischen den beiden oben genannten 
Alternativen, vorzugsweise durch lineare Interpolation 

- falls p sum < 1 gilt: qi(neu)=qi(alt) * p sum . 

[0017] Zur optimalen Ausgestaltung des Verfahrens sind fur die Konstante cqi die folgenden Zahlenbereiche und 
-werte bevorzugt: 0,05<c q1 <0,3, vorzugsweise 0,1<c q1 <0, 2, vorzugsweise c q1 =0,15. AuGerdem kann fur die Konstante 
c q2 vorzugsweise 0,05< c q2 <0,2, vorzugsweise c q2 =0,10 angenommen werden. 

[0018] Bezuglich der Konstanten threshold N gilt als bevorzugter Wertebereich: 0,6< threshold N <0,8, vorzugsweise 
threshold N =0,7. 

[0019] Bezuglich der Konstanten threshold H gilt als bevorzugter Wertebereich: 0,7< thresho!d H <0,95, vorzugsweise 
threshold H =0,85. 
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thresholds c q1 , c q2 , C q3 ) im Betrieb zumindest teilweise angepaBt werden C " ° 2 ' ^ ^ threSho1 ^ 

^l^P^^ZTTlT Multi P rozesso ^m, insbesondere eines Kommunikationssystems 
SST^Sr^ ' ^ ' ^ AUS, ° hrUn9 anfa " ender AU,9aben Unter ^.zeitbedingungL. voJ 



- jeder Prozessor MP, Mittel aufweist, um seiner, tatsachlichen Lastzustand Y. zu bestimmen - qeqebenenfalls direkt 
SETvET mehrWerti9en LaS,Status < load slale ) MPta, zu bestimmen -'und in ^g^T^ZT^Z- 
und dem tv h 9SQU ^ *** Prozess °™ MP k nach Moglichkeit zu verteiSer UsteS) 

zu mTri er r SS | VertG,,baren An,6il V Siner ,ypiSchen Auf 9 abe seine angebotene Last A, zu , schS ze d 1 

zu emem mehrwertigen Last.ndikationswert (Balancing Indicator) MPbi- fOhrt scnaizen, die 

" <££T TriST^ ^ "'h 6 : Us,indikationsw art ^ d °" iewei.s anderen Prozessoren MP k 

imix K-n,^,...i-i,i + i,...n) mittelbar oder unmittelbar mitzuteilen k 

" iSLT^T*. ^ ^ tel aufweist - um seine Lastverteilungswahrscheinlichkeiten Pii (mit 1=1 2 n) in Abhan- 
gjgkert von den Last,nd,kat,onswerten MPbi k dieser anderen Prozessoren MP K zu bes immen 

ins 2 ^ri tt ES '? n ° C K daraU ' hinzuweisen - daB der 'ndex (alt) sich jeweils auf die Werte des vorhergehenden Iterati- 
ro0251 "! Zleh H Un ^ e,se i der ,nde * <n-u) -M auf den jetzt aktuel.en Iterationsschritt beziehen 

ESfL h S eS ° nde ; e VOrte " d6S erfindlJ n9sgema3en Verfahrens und des entsprechenden Multiprozessorsystems 
-eg. dann, daB es ,m Gegensatz zum eingangs genannten Stand der Technik einen When" EinS ^dtoSS? 

™lu 9 Z^r dad H rCh an P ass -9 sfahi 9-. weniger anfal.ig gegen SohwJZST * und 
[0026] We.tere Ausgestaltungen, zusatzliche Merkmale und Vorteile der Erfindunq erqeben sich aus dor n*nhf„i 
VerS ' eht SICh ' 63,3 dle v °^tehend genannten und nachstehend noch zu erlauternden Merkmale der Erfin 
[0028] Die Figuren zeigen im einzelnen: 

Figur 1 : FluBbild des anfallenden und verteilten Lastangebotes 

Raul 2b- SSl ° arS t te " Un9 der ftscheidungen zur Aktualisierung der Lastverteilungsfaktoren p. 
F Qur 2b. Grafische Darstellung der Entscheidungen zur Aktualisierung der Verteilungsquoten , ' 
Figur3. Formel zur linearen Interpolation von q f ' 

[0029] Das erfindungsgemaBe Verfahren (Normal Load Balancing=NLB) ist ein quotiertes Load Balancina Verf^h™ 

£ SSL- T Arbeitslasten auf die jeweils anderen Prozessoren ablauft und sicherstellen sol. daB anSuern 
l?n ?t T", ^* 9 ' m6g "' ChSt a " e an 9 efo ^erten Aufgaben in moglichst kurzer 
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[0031] Die Verteilquote qj wird jedes Zeitintervall CI neu bestimmt. Die einzige Information die jedes CI von den 
anderen Prozessoren MP k mit k=1,...i-1 ,i+1,...n bendtigt wird, sind Lastwertindikatoren (Balancing Indikatoren) MPbij. 
Diese Lastwertindikatoren sind - ahnlich wie die Laststatuswerte (Load States) von der Load Control - Lastzustande 
mit den Wertigkeiten NORMAL, HIGH oder OVERLOAD. Wahrend der Load State anhand der tatsachlich bearbeiteten 
Last Yj des Prozessors MPj bestimmt wird, wird der Lastwertindikatoren MPbij aus einer Schatzung der aktuell ange- 
botenen Last A| ermittelt. Die geschatzte angebotene Last Aj kann durch Lastverteilung erheblich mehr als die tatsach- 
lich bearbeitete Last Y, sein und stellt die maBgebliche GroBe dar, die (in Form des Lastwertindikators MPbij) ein 
Prozessor MPj den anderen MP k als Information zur Verfugung stellt. 

[0032] Zusatzlich zur Verteilungsquote q; werden auf jedem MPj Wahrscheinlichkeiten p S j gefuhrt, welche die Wahr- 
scheinlichkeit angeben, daB bei Lastverteilung Last vom i-ten Prozessor MPj auf den j-ten Prozessor MPj ubertragen 
wird. Die Wahrscheinlichkeiten werden so bestimmt, daB, wenn etwa der j-te Prozessor MPj schon viel Last zu bear- 
beiten hat und deshalb nur wenig zusatzliche Last aufnehmen kann, das zugehorige Djj kleiner ist als das P jk fur einen 
freien MP k . 

[0033] In Figur 1 wird das Zusammenspiel der p^ und q { veranschauiicht. Die doppelte Indizierung "ij" der KenngrdBen 
besagt, daB jeweils der Prozessor mit der Nummer des ersten Index (hier i) jeweils eine "Spalte" von n Werten mit 
dem zweiten Index (hier j) kennt. Es ist zu bemerken, daB jeder Prozessor nur seine relevanten Werte (also seine 
Spalte) kennt, wobei insgesamt im System einequadratische Matrix bekannt ist So ist zum Beispiel p^j die Wahrschein- 
lichkeit, daB Last vom i-ten MP auf den j-ten MP verteilt wird, wenn der i-te MP zu viel Last hat. 
[0034] In der Figur 1 ist auBerdem die tatsachlich bearbeitete Last des j-ten Prozessors MPj mit Yj, die geschatzte 
angebotene Last mit A,- und der Teil des Lastangebotes, der verlagert werden kann, mit a bezeichnet. Die gezeigte 
Lastsituation ist Uberlast (OVERLOAD) auf MP 1( auf den MP k mit k=2,3,4 ist noch Raum fur zusatzliche Aufgaben. 
Es wird gezeigt, wie der MP 1 einen ersten Teil der Last selbst bearbeitet und den Rest a verteilt. Von diesem Rest a 
geht der groBte Anteil an MP 3 , der kleinste Anteil an MP 4 , der in diesem Beispiel also schon viel eigene Last zu 
bearbeiten hat. Nicht eingezeichnet sind die Lasten, welche die MP k auBer von MP, noch erhalten. Die Breite der 
FlieBbalken stellen ein MaB fur die GroBe der Last dar. 

[0035] GemaB dem Erfindungsgedanken ergibt sich also der folgende Algorithmus: Meldet der j-te Prozessor MP| 
den Balancing Indikator NORMAL, wird auf dem jeweils betrachteten MPj das p Si vergroBert. Es steigt also die Wahr- 
scheinlichkeit, daB dieser Prozessor MPj Last an MPj abgibt, wenn er Last verteilen muB. Wird der Balancing Indikator 
HIGH gemeldet, so wird das p^ verkleinert. Wird der Balancing Indikator OVERLOAD gemeldet, wird p^j auf Null gesetzt, 
so daB keine Last an den j-ten Prozessor MPj abgegeben wird. Die Verteilungsquote qj wird anschlieBend an die 
Bestimmung der p^ verandert. Konnten viele der p^ vergroBert werden, so ist die Summe der py uber j groBer 1 und 
offenbar noch Platz auf den anderen Prozessoren MP k . Die Verteilungsquote qj kann also nach den Ertordernissen 
des (betrachteten) Prozessors verandert werden. 

Bei hoher Last Yj auf dem betrachteten Prozessor MPj wird die Verteilungsquote q { vergroBert, bei niedriger Last wird 
qj verkleinert. Sind viele der p Vl verringert worden, dann ist die Summe der p^ uber j kleiner 1 und die Verteilungsquote 
q s muB verringert werden. 

[0036] Eine Veranschaulichung dieser Entscheidungen ist in den Figuren 2a und 2b dargestellt. Die Entscheidungs- 
diagramme zeigen die Aktualisierungsalgorithmen fur p t) (Figur 2a) und fur Verteilungsquote q s (Figur 2b), die jedes 
Zeitintervall CI fur den i-ten Prozessor MPj durchgefuhrt werden. 

[0037] Bei dem erfindungsgemaBen Lastverteilungsverfahren (NLB) werden einige Parameter (Konstanten) beno- 
tigt, deren Wahl das Verhalten in bestimmten Lastsituation en stark beeinflussen kann. Es ergibt sich in den meisten 
Fallen ein Konflikt zwischen einem Lastverteilungsverfahren, das schnell auf Lastanderungen reagieren kann, und 
einem stabilen Lastverteilungsverfahren, das nicht zu Schwingungen und zum Weiterverteilen von Aufgaben neigt. 
"Weiterverteilen" bedeutet hier das gleichzeitige Verteilen von eigener Last und das Bearbeiten von fremder Last auf 
einem Prozessor. 

[0038] Folgende Parameterveranderungen bewirken ein schneller reagierendes NLB: 

Das starkere Verandern von qj mit: 0,15<c q1 , 0,1<c q2 
Das starkere Verandern der pjj mit: 0,25<p c1 , 0,25<p c2 

Das spatere Setzen der Lastindikations werte MPbij mit: threshold H >0,7 (d.h. erst bei hoherer Last 'HIGH* an die 
anderen Prozesssoren MPk melden) 

[0039] Detailliert verlauft das bevorzugte Verfahren bei einem Multiprozessor-Kommunikationsrechneralso wie folgt: 
[0040] Als Dauer des Zeitintervalls (Kontrollintervall) CI des Zeitrasters, mit dem das Verfahren iterativ ablauft, wird 
bei den derzeit bekannten Multiprozessorsystemen der Vermittlungstechnik bevorzugt 1 bis 2 Sekunden gewahlt. Es 
ist selbstverstandlich, daB mit steigender Prozessorleistung das Zeitintervall gekOrzt werden kann. 
[0041] Jedes Kontrollintervall CI werden die GroBen q jt p Vy MPISj und MPbj, aktualisiert. 

[0042] Die tatsachlich bearbeitete Last Y s eines Prozessors MPj wird als ProzessorlaufzeitgroBe, gemessen in Er- 
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lang, ermlttelt. 

[0043] Die geschatzte angebotene Last Aj eines Prozessors MP, wird aus der Verteilquote q { des aktuellen Kontroll- 
^ercalls ermiSelT 9 ^ vertei,baren Anteil ™er durchschnittlichen Aufgabe, zum Beispiel der Abarbeitung 
[0044] Es gift: 

Die Anzahl der Prozessoren MPj im Multiprozessorsystem ist n. 

A i : = Y/fl-qjV), wobei V der verteilbare Anteil eines Calls ist. 

[0045] MPIs- Load State des Men MPs, kann die Werte NORMAL, HIGH, OVERLOAD oder EXTREME annehmen 
Zur Berechnung des Load States wird die tatsachlich bearbeitete Last Yi herangezogen 

[004 ^Lf- U ' Vermeidun 9 von vorschnellen Anderungen des MPI Sj werden Hysteresen eingefuhrt. Wird etwa der MPIs- 
von NORMAL auf HIGH gesetzt, mu3 > threshold N + A + sein, wohingegen, um von HIGH nach NORMAL zu kommen' 
™ ,L 6S N " A - SS,n °' eSe Vor 9 ehensweise is t auch als High Water-Low Water Methode bekannt Bei EX- 
TREME muG aus systemtechnischen Grunden der Vermittlungsstelle das Verteilungsverfahren (Load Balancing) fur 
diesen Prozessor MPj abgeschaltet werden. y 

Mof 71 , m^o^ n: ,St Normal,astschwe ^ - nach Berucksichtigung einer Hysterese wird unterhalb dieser der 
MPIs als NORMAL gefuhrt, oberhalb als HIGH. 

[0048] thresholds Hochlastschwelle - nach Berucksichtigung einer Hysterese und einer lastabhangigen zeitlichen 
Verzogerung (Start indikator) wird unterhalb dieser Schwelle der MPIs als HIGH gefuhrt, oberhalb als OVERLOAD 
[0049] Der Lastindikationswert (Balancing Indikator) MPbi.des i-ten Prozessors MP, kann die Werte NORMAL HIGH 
Oder OVERLOAD annehmen. Dieser wird wie der MPJ Sj berechnet, nur wird hier anstelle der tatsachlichen Last Y- die 
geschatzte angebotene Last Aj zugrundegelegt und andere Werte fur A + und A genommen mit A = A - 0 02 ' 
[0050] Zusatzlich wird ein Overload Level OL,. des Prozessors MPj bestimmt, der die Werte 0... + 6 annehmen kann 
und als Quantifizierung des Uberlastzustandes des Prozessors MPj gedacht ist. Ist der OL i>0 , werden Calls abgewehrt 
je hoher der Wert, desto wahrscheinlicher wird ein Call abgewiesen. 

[0051] Die Last, die von MPj nach MPj verteilt werden soli, wird als Wahrscheinlichkeit p n ausgedruckt und kann 
somit Werte zwischen 0 und 1 annehmen. J 
[0052] Die GroBe des Wertes Pij bestimmt sich durch folgende Kriterien: 

Initialisiere p M mit Dy^n-I)- 1 

p„:= 0, MPj soil nicht an sich selbst verteilen. 

" f» ta MP u b |r NORMAL: Pii "> Pii + 0 25/n . J= 1 .-.n. N. Das alte P|j kann vergr6f3ert werden, weil auf dem Prozessor 
MPj noch Platz ist. 

- Falls MPbij=HIGH: Pi] --> Pij - 0.25/n. Das alte Pij muG verkleinert werden, weil MR voll ausgelastet ist 

- Falls MPbij=OVE RLOAD: P[j = 0. Es soil keine Last an uberlastete Prozessoren MP n abgeben werden. 

[0053] Die neu bestimmten Pjj mussen noch normiert werden: 

Set2e Psum = summefpj.) uber j=1,..,n 



und normiere (falls p sum > 0) mit PjJ ~> Pjj / Psum 

[0054] AnschlieBend wird die Verteilungsquote q 4 mit den folgenden Kriterien bestimmt: 
Initialisierungswert: q { = 0.1 

- Falls der MPIs, =EXTREME: q f = 0.1. Dieser MP ist so stark uberlastet, dafi ihn auch der Eigenanteil fur einen 

verteilten Call uberfordem wurde. Deshalb kein Load Balancing, sondern nur Abwehr: das Load Balancing ist 

zudem aus systemtechnischen Grunden der Vermittlungsstelle nicht sinnvoll. 

" Fal| s Psum > 1 . kann offenbar mehr Last verteilt werden. Dann kann q nach den Erfordernissen des MP, bestimmt 
werden, mit: 1 



1. Falls der OL, > 0, q, auf jeden Fall vergroBern mit: q } --> rnin { qj + 0.15, 1} 

2. Falls Yj > threshold^ q t vergroBern mit: q t --> min { qi + 0. 15, 1} 
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3. Falls Yj < threshold^,, qj verkieinern mit: q; «> max {qj -0.10, 0.1}. 

4. Andernfalls, falls threshold N < Yj < threshold H gilt: 

q j -->min{max{q j +(0.25/(threshold H -threshold N ))*(Y j -threshold N )^^ 0.1},1.0] 

[0055] Dies ist die lineare Interpolation zwischen der obigen VergroBerung urn 0.15 und der obigen Verkleinerung 
um 0.1 . Die Formel ist nochmals in besser lesbarer Weise in der Figur 3 dargestellt. 

Falls p sum < 1 , wurde offenbar zuviel Last verteilt und q { muB verkleinert werden mit: qj -> q { * p sum . 

Der Prozessor MPj verteilt Last an andere Prozessoren MP k , wenn q ; > 0.25 wird. 

[0056] Das erfindungsgemaBe Verfahren weist somit die folgenden Eigenschaften und Vorteile auf: 
[0057] Ein sehr geringer Informationsoverhead zwischen den am Lastverteilungsverfahren beteiligten Prozessoren. 
Gegenseitig bekannt sind nur wenige, vorzugsweise dreiwertige Lastzustande, die nur einmal pro Kontrollintervall 
aktualisiert und verteilt werden. 

[0058] Fur jeden Prozessor gibt es eine Quote, die jedes Kontrollintervall aktualisiert wird und die den Anteil der Last 

regelt, die vom betrachteten Prozessor an die anderen beteiligten Prozessoren verteilt werden soil. 

[0059] Fur jeden Prozessor gibt es Einzelregulatoren, welche die zu verteilende Last auf die anderen Prozessoren 

aufteilen. 

[0060] Das Verfahren ist nicht nur als "FeuerwehrmaGnahme" konzipiert, das erst wirksam wird, wenn ein Prozessor 
in Uberlast gerat und gegebenenfalls Aufgaben (Calls) abgewehrt werden, sondern es setzt die Lastverteilung fruher 
und weicher ein. Dadurch konnen Dauerschieflastzustande besser und mit weniger abgewiesenen Aufgaben (Calls) 
verarbeitet werden. 

[0061] Im erfindungsgemaBen Verfahren werden die Lastzustande, die an die anderen Prozessoren verteilt werden, 
konsequent anhand der geschatzten angebotenen Last und nicht anhand der tatsachlich bearbeiteten Last ermittelt. 
[0062] Das Verfahren benotigt kein Load Balancing Flag, das den Einstieg in die Lastverteilung regelt. Der Einstieg 
wird uber die Verteilquote qj geregelt. Weiterhin sind durch das Fehlen eines Load Balancing Flags gegenseitige Ab- 
hangigkeiten zwischen den Lastzustanden und dem Load Balancing Flag eliminiert worden. Dadurch ist eine nach- 
tragliche Anpassung des Algorithmus an veranderte Bedingungen leichter moglich. 

[0063] Die lastabhangige Veranderung der Einzelregulatoren (Lastverteilungsfaktoren p-J geschieht in Abhangigkeit 
von der Anzahl n der an der Lastverteilung beteiligten Prozessoren. Somit ist das Verfahren unabhangig von der Anzahl 
der beteiligten Prozessoren. 

[0064] Die lastabhangige Veranderung der Verteilungsquoten und der Einzelregulatoren pro Kontrollintervall ge- 
schieht so, daB ein zu langsames "Heranschleichen" an den optimalen Wert vermieden wird. 

[0065] Die lastabhangige Veranderung der Einzelregulatoren vermeidet ein Verharren der Werte auf die Einstellung 
der vorangegangenen Lastverteilungsperiode wahrend einer Periode ohne Lastverteilung. Es wird vielmehr auf eine 
Ausgangsstellung zuruckgeregelt. 

[0066] Die aus dem Stand der Technik bekannte Tragheit in der Veranderung der Quoten wurde entfernt, um ein 
leichteres Nachfuhren an die tatsachlich vorliegende Lastsituation zu ermoglichen. 



Patentanspruche 

1. Verfahren zur Lastverteilung in einem Multiprozessorsystem, insbesondere in einem Multiprozessorsystem eines 
Kommunikationssystems, bei dem anfallende Aufgaben von mehreren Prozessoren MPj (mit i=1,2,....,n) unter 
Realzeitbedingungen abgearbeitet werden konnen, mit folgenden iterativen und sich in Zeitintervallen CI wieder- 
holenden Verfahrensschritten: 

- jeder Prozessor MPj ermittelt seinen tatsachlichen Lastzustand Yj - bestimmt gegebenenfalls direkt hieraus 
einen mehrwertigen Laststatus (load state) MPISj - und schatzt in Abhangigkeit von zuvor mitgeteilten Vertei- 
lungsquoten qj(alt) (mit qpan andere Prozessoren MP k nach Moglichkeit zu verteilender Lastanteil) und dem 
typischerweise verteilbaren Anteil V einer typischen Aufgabe seine angebotene Last Aj, die zu einem mehr- 
wertigen Lastindikationswert (Balancing Indicator) MPbij fuhrt, 

jeder Prozessor MPj teilt seinen Lastindikationswert MPbij den jeweils anderen Prozessoren MP k (mit k=1 ,2,. .. 
i-1,i+1,...n) mittelbar oder unmittelbar mit, 
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jeder Prozessor MPj bestimmt seine Lastverteilungswahrscheinlichkeiten (mit j=1 .2 n) in Abhangigkeit von 
den Lastindikationswerten MPbi k dieser anderen Prozessoren MP k , 

jeder Prozessor MP { bestimmt seine Verteilungsquote q } (neu) in Abhangigkeit von seinem tatsachlichen Last- 
zustand Yj und den Lastverteilungsfaktoren 

jeder Prozessor MPj verteilt anhand seiner Quote q s und seiner Lastverteilungsfaktoren p }j seine verteilbare 
Last an andere Prozessoren MP k wenn seine Verteilquote qj(neu) einen vorgegebenen Wert q v uberschreitet. 

2. Vertahren gemaB dem voranstehenden Anspruch 1, dadurch gekennzeichnet, daB die geschatzte angebotene 
Last A { eines Prozessors MPj nach der Formel Aj:=Yj/(1-qjV) errechnet wird. 

3. Vertahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB der mehrwertige Lastin- 
dikationswert (balancing indicator) MPbij drei diskrete Werte : vorzugsweise NORMAL (=0 bis 0,7), HIGH (=0,7 bis 
0,85) und OVERLOAD (=0,85 bis 1) annehmen kann. 

4. Vertahren gemaB dem voranstehenden Anspruch 3, dadurch gekennzeichnet, daB der Lastindikationswert (ba- 
lancing indicator) MPbij bezuglich Anderungen einer Hysterese unterliegt. 

5. Vertahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB der mehrwertige Laststa- 
tus (load state) MPIsj vier diskrete Werte, vorzugsweise NORMAL (=0 bis 0,7), HIGH (=0,7 bis 0,85), OVERLOAD 
(=0,85 bis 1 ) und EXTREME (wenn Laststatus uber mehrere CI OVERLOAD) annehmen kann. 

6. Vertahren gemaB dem voranstehenden Anspruch 3, dadurch gekennzeichnet, daB der Laststatus (load state) 
MPIsj bezuglich Anderungen einer Hysterese unterliegt. 

7. Vertahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB der Wert der tatsachlichen 
Last Yj proportional zur Prozessorlaufzeit ist. 

8. Vertahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB als typischer verteilbarer 
Anteil V einer typischen Aufgabe CallP der durchschnittliche oder maximale Anteil ist. 

9. Vertahren gemaB dem voranstehenden Anspruch 8, dadurch gekennzeichnet, daB der durchschnittliche oder ma- 
ximale Anteil einer typischen Aufgabe standig als gleitender Durchschnitt oder gleitender Maximalwert uber eine 
vorgegebene Zeitspanne t D ermittelt wird. 

1 0. Vertahren gemaB dem voranstehenden Anspruch 9, dadurch gekennzeichnet, daB fur die vorgegebene Zeitspanne 
t D gilt: t D » CI. 

1 1 . Vertahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB als typische Aufgabe eine 
durchschnittliche oder maximale Aufgabe angenommen wird. 

12. Vertahren gemaB dem voranstehenden Anspruch 8, dadurch gekennzeichnet. daB die durchschnittliche oder ma- 
ximale Aufgabe standig als gleitender Durchschnitt oder gleitender Maximalwert uber eine vorgegebene Zeitspan- 
ne t D ermittelt wird. 

13. Vertahren gemaB dem voranstehenden Anspruch 12, dadurch gekennzeichnet, daB fur die vorgegebene Zeitspan- 
ne t D gilt: t D » CI. 

14. Vertahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB fur den vorgegebenen 
Wert q v der Verteilquote qj, ab dem der Prozessor MPi verteilbare Last an andere Prozessoren MP k verteilt gilt: 
0,05<q v <0,3, vorzugsweise 0,1<q v <0,25, vorzugsweise qv=0,2. 

15. Vertahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB die Berechnung der Ver- 
teilquote qj die folgenden Kriterien erf Gilt: 

" Pii 0 

- falls MPbij einer mitttere Last entspricht, vorzugsweise MPbi= NORMAL, gilt: Pij(neu) = pij(alt)+p c1 /n, fur j=l 
n und i*j 

falls MPbij einer hohen Last entspricht, vorzugsweise MPbi^HIGH gilt: Pjj(neu) = pij(alt)-p c2 /n, fur j=1,...,n und 
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falls MPbij einer Oberlast entspricht, vorzugsweise MPbij=OVE RLOAD, gilt: Pjj(neu) = 0 

wobei vorzugsweise die py ,..,„) mit der Summe p sum der p u auf 1 normiert wird und 

als Initialisierungswert beim Beginn der Verteilungsprozesse alle Pjj, ausgenommen p H , gleich sind. 

16. Verfahren gemaB dem voranstehenden Anspruch 15, dadurch gekennzeichnet, daB fur die Konstante p c1 gilt: 

0,1<p cl <0,5 > vorzugsweise 0,2<p c1 <0,3, vorzugsweise p c1 =0,25. 

17. Verfahren gemaB einem der voranstehenden Anspruche 15-16, dadurch gekennzeichnet, daB fur die Konstante 
p c2 gilt: 0,1 ^^^S, vorzugsweise 0,2<p c2 <0,3, vorzugsweise p^O.25. 

1 8. Verfahren gemaB einem der voranstehenden Anspruche 15-17, dadurch gekennzeichnet, daB der Initialisierungs- 
wert der py beim Beginn der Verteilungsprozesse gleich (n-1) -1 gesetzt wird. 

19. Verfahren gemaB einem der voranstehenden Anspruche 15-18, dadurch gekennzeichnet, daB die Berechnung 
der Lastindikationswerte MPbij die folgenden Kriterien erfullt: 

falls MPISj der hochsten Last entspricht, vorzugsweise MPIs,=EXTREME, gilt: qj(neu)=q c1 , 
" falls p sum > 1 gilt: 

falls der tatsachliche Lastzustand Yj groBer als ein vorgegebener Wert threshold H ist, wird qj vergroBert 
mitqpminfqj+Cq^l}, 

falls der tatsachliche Lastzustand Yj kleiner als ein vorgegebener Wert threshold N ist, wird verkleinert 
mit qi=max{q r c q2 , c q3 }, mit 0<c q3 <q v> vorzugsweise c q3 =0,1, 

andernfalls (threshold N < Yj < thresho!d H ) erhalt qi einen Zwischenwert zwischen den beiden oben ge- 
nannten Alternativen, vorzugsweise durch lineare Interpolation 

■ f a"s p sum < 1 gilt: qi(neu)=qi(alt) * p sum . 

20. Verfahren gemaB dem voranstehenden Anspruch 19, dadurch gekennzeichnet, daB fur die Konstante c q1 gilt: 

0,05<c q1 <0,3, vorzugsweise 0,1< c q1 <0,2, vorzugsweise c q1 =0,15. 

21. Verfahren gemaB einem der voranstehenden Anspruche 19-20, dadurch gekennzeichnet, daB fur die Konstante 
c q2 gilt: 0,05< c q2 <0,2, vorzugsweise c q2 =0,10. 

22. Verfahren gemaB einem der voranstehenden Anspruche '19-21, dadurch gekennzeichnet, daB fur die Konstante 
threshold N gilt: 0,6 < threshold N < 0,8, vorzugsweise threshold N =0,7. 

23. Verfahren gemaB einem der voranstehenden Anspruche 19-22, dadurch gekennzeichnet, daB fur die Konstante 
threshold H gilt. 0,7 < threshold,-, < 0,95, vorzugsweise threshold H =0,85 

24. Verfahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB zusatzlich ein Uberlast- 
wert OLj der Prozessoren MP, ermittelt wird, der ein MaB fur die GroBe der Oberlast ist, mit OL,=0,1 ,...m und die 
Verteilquote q, auf jeden Fall vergroBert wird : falls OL^O mit qi(neu):=min{qi(alt)+c q1 , 1). 

25. Multiprozessorsystem, insbesondere eines Kommunikationssystems, mit mehreren Prozessoren MPj (mit 
i=1,2,....,n) zur Ausfuhrung anfallender Aufgaben unter Realzeitbedingungen, wobei: 

jeder Prozessor MP, Mittel aufweist, um seinen tatsachlichen Lastzustand Y, zu bestimmen, - gegebenenfalls 
direkt hieraus einen mehrwertigen Laststatus (load state) MPIs, zu bestimmen - und in Abhangigkeit von zuvor 
mitgeteilten Verteilungsquoten q,(alt) (mit q,=an andere Prozessoren MP k nach Moglichkeit zu verteilender 
Lastanteil) und dem typischerweise verteilbaren Anteil V einer typischen Aufgabe, seine angebotene Last A, 
zu schatzen, die zu einem mehrwertigen Lastindikationswert (Balancing Indicator) MPbij fuhrt, 
jeder Prozessor MP, Mittel aufweist, um seinen Lastindikationswert MPbi, den jeweils anderen Prozessoren 
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MP k (mit k=1 P 2 i ...M.i+1 l ...n) mittelbar oder unmittelbar mitzuteilen, 

jeder Prozessor MPj Mittel aufweist, um seine Lastverteilungswahrscheinlichkeiten (mit j=1,2 : ....n) in Ab- 
hangigkeit von den Lastindikationswerten MPbi k dieser anderen Prozessoren MP k zu bestimmen, 
jeder Prozessor MPj Mittel aufweist, um seine Verteilquote qi(neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Yj zu bestimmen, und 

jeder Prozessor MPj Mittel aufweist, um anhand seiner Quote qj und seiner Lastverteilungsfaktoren seine 
verteilbare Last an andere Prozessoren MP k zu verteilen : wenn seine Verteilquote qj(neu) einen vorgegebenen 
Wert q v uberschreitet. 

26. Multiprozessorsystem gema3 Anspruch 25, dadurch gekennzeichnet, daf3 eines der Verfahren gema3 einem der 
Anspruche 1-24 implementiert ist. 
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Fig. 2 
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